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Co będzie ? 


e Wprowadzenie do problematyki maszynowego 
uczenia się 


e Studium przypadku -- sterowanie pojazdem 
z wykorzystaniem sieci neuronowych 


e Klasyfikacja podstawowych metod 

e Reprezentacja przykładów uczących oraz wiedzy 
e Algorytm eliminacji kandydatów 

e Podsumowanie 


Co to jest maszynowe uczenie sie ? 


e Maszynowe uczenie się (ang. Machine 
Learning) jest analizą procesów uczenia się 
oraz tworzeniem systemów, które doskonalą 
swoje działanie na podstawie doświadczeń z 
przeszłości. 


e Wykład dotyczy dwóch grup metod : 
* symbolicznego/indukcyjnego uczenia się na 
przykładach (ang. symbolic/inductive learning) 
« sztucznych sieci neuronowych (ang. artificial neural 
networks) 
e Inspiracje: informatyka, statystyka, rozpoznawanie 
struktur (ang. pattern recognition), psychologia i 
kognitywistyka 
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Uczenie maszyn 


e Machine Learning (ML) — część sztucznej 
inteligencji (AI) lub inteligencji obliczeniowej 
(Computational Intelligence - CI) 


e Systemy adaptujące się, zmieniające swoje 
wewnętrzne parametry tak, aby rozpoznać 
charakter danych 


e ML umożliwia pozyskiwanie wiedzy na 
podstawie analizy zachowań ekspertów lub 
danych doświadczalnych 


Systemy uczące się 


Uczenie — zmiany w systemie 
adaptującym się pozwalające 
mu w przyszłości działać 


bardziej efektywnie na —ć 
takich samych zadaniach lub whe 


zadaniach o podobnych 


, Herbert A. SIMON «2 
charakterze (Simon 1983) RS OE 
Ekonomii 1978 


Inne definicje Definition (#172) 


A learning system uses 
sample data 


to generate an updated basis 
for improved [performance] 


on subsequent data 
from the same source 


and expresses the new basis 
in intelligible symbolic form 


- Donald Michie (1991) 
- Computer Journal 


Definicja R.Michalskiego 


e "Uczenie sie to konstruowanie i zmiana | 
reprezentacji doświadczanych faktów. W ocenie 
konstruowanych reprezentacji bierze się pod 
uwagę: 

1.wiarygodność - określa stopień w jakim 
reprezentacja odpowiada rzeczywistości, 

2.efektywność - charakteryzuje przydatność repreze- 
ntacji do osiągania danego celu. 

3.poziom abstrakcji - odpowiada zakresowi szczegó- 
łowości i precyzji pojęć używanych w reprezentacji; 
określa on tzw. moc opisową reprezentacji. 

e Reprezentacja jest rozumiana jako np. opisy 
symboliczne, algorytmy, modele symulacyjne, 
plany obrazy." 


Systemy uczące sie 


Dane często w postaci przykładów 
Eksperci opisując sytuację podają przykłady 
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Y 


Definicja problemu uczenia 


Uczenie = doskonalenie działania dla pewnych zadań 


na podstawie doświadczenia 
* doskonalenie działania dla zadań T 
* z względu na miarę oceny P 
* oparte na doświadczeniu E 


Przykład 1: Gra w szachy 
T: nauczyć się rozgrywać końcówki szachowe 
P: % wygranych gier 
E: zapis rozgrywek bardzo dobrych graczy 
Przykład 2: Rozpoznawanie adresu (kodu) pocztowego 
T: rozpoznanie adresu (kodu) odbiorcy na liście 
P: % sortowanych listów poprawnie przypisanych do miasta odbiorcy 


E: odpowiednia liczba przykładów ręcznie napisanych adresów ze znanym 
adresem przeznaczenia 


SSN 


Rozpoznawanie pisma 


Uczenie: 


NE 
be EE 


Rozpoznawanie: 


Dlaczego systemy uczące się 


e Zadania eksploracji 1 analizy danych, gdzie duże 
rozmiary zbiorów danych uniemożliwiają ich analizę 
w sposób nieautomatyczny (np. ekonomiczne lub 
medyczne bazy danych) 


e Srodowiska, gdzie system musi się dynamicznie 
dostosowywać do zmieniających się warunków 
(np. systemy sterowania) 


e Problemy, które są złożone, trudne do opisu 1 czesto 
nie posiadają wystarczających modeli teoretycznych 
albo ich uzyskanie jest bardzo kosztowne lub mało 
wiarygodne 


e Rozwój zastosowań praktycznych 


Projekt ALVINN — sterowanie pojazdem 
Z wykorzystaniem sieci neuronowych 


ALVINN (Autonomous 
Land Vehicle In a 
Neural Network) 
system uczacy sie 
sterowania pojazdu na 
podstawie obserwacji 
zachowania kierowcy 


(Pomerleau & Jochem) 


ALVINN 


Architektura systemu: 
wielowarstwowa siec 
neuronowa uczona 
algorytmem wstecznej 
propagacji błędów 


30 Qutput 
Units 


30x32 Sensor 
Input Retina 


ALVINN - uczenie 


* Prezentacja zapisu video z 
kierowania pojazdem skojarzonego z 
informacją o sposobie kierowania 


# ALVINN nauczył się kierować 
pojazdem na kilku rodzajach dróg; w 
tym z prędkością 70 mph na 
autostradzie k. Pittsburga 

* Eksperymenty z bieżącą obserwacją 
zachowań kierowcy | 
kontynuowaniem jego stylu jazdy 


ALVINN ;-) 


e Sieć neuronowa „Śledzi zachowanie 
kierowcy, więc... 


e ... uważaj kto jest Twoim nauczycielem ! 


Realizacja procesu uczenia sie 


e Dobrze zdefiniowane zadanie. 


e Wybrane miary oceny (jedno, dobrze 
zdefiniowane kryterium). 


e Co jest doświadczeniem (przykładami)? 
e Czego należy się nauczyć? 

e Jak reprezentować przykłady uczące? 
e Jak reprezentować hipotezy/wiedzę? 


e Jaki algorytm uczenia należy wybrać ? 


Learning (wiedza a umiejętności) 


e Rote learning (implementacja wiedzy / 
uczenie się na pamięć) 
* Learning foreign words (and their translations) 
* Learning telephone numbers, bank accounts, 


e Inductive learning (uogolnienie) 
* Learning from examples 
* Learning by observing and discovering 


Early work on automatic learning 
e Rosenblatt (1957): Perceptrons 


e Samuel (1963): Rote learning 
e Winston (1970): Concept learning 


e Mitchell (1977): Version spaces 


(See Russel and Norvig for more details) 


Klasyfikacja metod maszynowego 
uczenia sie 


e W ogólności system zmieniać się może w dwojaki 
sposób: 

« system nabywa "nową wiedzę" z zewnętrznych źródeł, 

* system modyfikuje się samodzielnie poprzez intensywne 
wykorzystywanie posiadanej już wiedzy w sposób bardziej 
efektywny. 

e Wnioskowanie Indukcyjne opiera się na zbiorze faktów 
(obserwacji) oraz ewentualnym zbiorze hipotez a priori 
dotyczących tych faktów, a w wyniku daję uogólnienie 
wyjaśniające te fakty. 

e Dedukcja - wyprowadzanie wniosków, które są logiczną 
konsekwencją posiadanej informacji. 


Symboliczne metody ML 
w odkrywaniu wiedzy z danych 


e Wiele problemów sprowadza się do tzw. 
uczenia nadzorowanego 

e Nadzór: przykłady uczące (obiekty) 
przydzielone są do pewnych znanych wstępnie 
kategorii (klas decyzyjnych) 

e Cel: nauczyć się zasad przydziału obiektów ze 
zbioru uczącego do klas na podstawie opisu 
obiektów - problem klasyfikacji 


Uczenie z nadzorem 


Uczenie z nadzorem: podział na znane klasy, przekazywanie znanej 
wiedzy, heteroasocjacja - kojarzenie obiektów i ich własności. 


Opis obiektów 

System adaptujący się 
Wyniki działania 
Pożądane odpowiedzi 
Funkcja kosztu 

Algorytm uczący 

Cel uczenia: generalizacja 


Adaptive 
system (W) 


Change parameters 


Desired 


Zadanie uczenia nadzorowanego 


Nieznana y = f (X4, X, Xz, X,) 
funkcja 


e Nauczyciel (c - target function) — funkcja c(x) nieznana uczniowi; 
poszukuje hipotezy h, która ją najlepiej przybliża. 


Drzewo decyzyjne 


overcast rain 


DN 


high normal 


N P 


Klasy metod 


e Czesto stosowane: 
* drzewa decyzyjne/ reguty decyzyjne 
* uczenie sie z przypadków (IBL, KNN, CBR..) 
æ klasyfikatory probabilistyczne 
* sieci neuronowe 
* zbiory I logika rozmyta 

e |nne metody: 
* algorytmy genetyczne 
æ induktywne programowanie logiczne (ILP) 
* zbiory przybliżone 
* ... 


Uczenie bez nadzoru 


Wykrywanie nieznanych klas, uczenie spontaniczne, 
odkrywanie ciekawych struktur w przestrzeni danych, 
korelacja zachowań systemu ze zmianą tych struktur. 
Dominuje w okresie niemowlęcym. 


Opis obiektów p, P> 
System adaptujący się \ Ps 
Tworzenie klas \ Pik \ 

A s SĘ s \ 
Miary podobienstwa ‘ x 4 
Funkcja jakości 


grupowania 


Algorytm uczący SE K | 


Uczenie zachowan 


Uczenie z krytykiem lub „z wzmocnieniem pożądanych zachowań 
po dłuższym okresie. 


Optymalizacja zysków na dłuższą metę. 
Gry z przeciwnikiem: przegrana lub wygrana na końcu partii. 
Uczenie dojrzałe (nabieranie ,madrosci’), behawioralne. 


Opis obiektów/stanów p, 
Opis reguł działania 
System adaptujący się 
Tworzenie strategii/planów 
Miara sukcesu 

Algorytm uczący 


Uczenie sie ze wzmocnieniem 


e Programming agents by reward and punishment 

e No need to specifying HOW the task is to be achieved 

e Agent learns behavior through trial-and-error interactions with a 
dynamic environment 


State 


Environment 


Action 


Draft RL Algorithm 


For each time step t do: 


1: 
2. 


Perceive current state x, , 
Choose action a, to be 
performed, 

Perform selected action a, , 
Watch for current state x,,, 
and reinforcement r, , 
Learn basing on new 
experience: 

< Xto At lt Xt417- 


Dimensions: Constraints 


(on selecting a learning algorithm) 


o Task/objective 


- Learning task 
- Performance task 


o Availability of background knowledge 


- Encoded 
- Interactive 


o Availability of data 


- Incremental vs. batch 
- Passive vs. active 


o Characteristics of data 


- Static vs. drifting 
- Propositional or first-order 


Learning Tasks 


Supervised learning (from examples) 


- Knowledge-poor 
- Knowledge-intensive 
- Improve predictive accuracy 
- Improve explanatory capability 
- Improve efficiency (speed, space) 


Problem solving 


- Learning operator application conditions 
- Learning to solve additional problems 


Unsupervised learning (clustering) 
- No teacher available: unlabeled data 


Scientific discovery 


- Often involves aspects of both supervised & 
unsupervised learning 


e Pare uwag o klasyfikacji metod 


Uczenie sie z wykorzystaniem wiedzy 


Knowledge-Intensive Supervised Learning 


Given: 


1. Aset of training instances 

2. Ahypothesis of the target concept 

3. Background knowledge (BK) 
Induce: 


A modified hypothesis (concept description) that is 
consistent with the domain theory & training instances 


Typical performance measures: 


- Predictive accuracy (on test set) 
- Comprehensibility 

- Speed (training and testing) 

- Storage requirements 

- Hypothesis language 

- Instance representation language 


Infinite number of approaches. Three are: 


- Explanation-based learning 

- Learning macros, etc 
- Inductive logic programming (ILP) 
- Case-based learning 


Explanation-Based Learning (EBL) 


General idea: “Speedup learning" 


- Explain how a given instance instantiates the BK 
- Explanation = Proof 
- Induced hypotheses must be consistent with both 
training instances and BK 
- Yields macros (i.e., caching, chunking, compiling) 


Definition: 


Explanation-based learning is the process of forming 
generalizations by constructing explanations. 


Strengths: 


- Can work with very few instances (none?) 
- Allows for explicit representation of BK 
- Exploits BK, usually in the form of a set of rules 


Limitations: 
- Requires background knowledge 
- Ongoing work to handle imperfect BK 
- Utility issues: When does learning/caching pay off? 


Terminologia związana z indukcyjnym 
uczeniem się 


Dziedzina X 
Przykład uczący xX 
Atrybut ai 
Klasa, pojęcie docelowe CiX c: X {0,1} 

Ci = {xX : c(x)=R 
Przykład etykietowany dla uczenia z nadzorem <x,c(x)> 
Przykład pozytywny dla pojęcia c - taki xX że c(x)=1 
Przykład negatywny dla pojęcia c - taki xX ze c(x)=0 
Hipoteza h - funkcja f: X {0,1} 
Przestrzeń hipotez H 
Zbiór uczący 
Błąd stosowania hipotezy h dla zbioru treningowego D 
Indukcyjne ukierunkowanie (inductive bias) 


Reprezentacja przykładów uczących 


e Przykłady — zbiór obiektów, których dotyczy 
nabywana wiedza; mogą to być przedmioty, 
osoby, obserwacje, ... 


Atrybuty to pewne cechy charakteryzujące 
właściwości rozważanych obiektów. 

Zbiór przykładów (obiektów) U jest opisany za 
pomocą skończonego, niepustego zbioru 
atrybutów A = {a7,a2,...,am} i reprezentowany 
jest w postaci tabeli informacyjnej /7 = (U,A) 


Przykład dydaktyczny 


e Tabela 1. Zbiór przykładów opisujących samochody za pomocą 
zbioru 4 atrybutów {Typ samochodu, Cena, Prędkość, Zużycie 


paliwa); Pierwsza kolumna zawiera numer identyfikujący samochód 


Ip. 
akceptowalna 
EM 
Ez 


Uczenie sie pojec 


Pojęcie (ang. concept) — ogólne określenie oznaczające 
zbiór obiektów posiadających wspólne właściwości, które 
odróżniają je od innych pojęć. 

Pojęcie to jedna z postaci wiedzy o świecie, używana do 
opisywania systemów interpretowania obserwacji oraz 
abstrakcyjnych idei. 

Pojęcia — pozwalają na klasyfikowanie pewnych obiektów 
na zbiory (kategorie / klasy). 

Pojedyncze pojęcie wyznacza podział zbioru obiektów 
na przykłady pozytywne oraz przykłady negatywne 
(kontrprzykłady) tego pojęcia. 

Pojęcia wielokrotne — klasyfikacja 


Przykład ilustracyjny opisu samochodów 


my 


e Rozważane pojęcie - „samochód, którym chciałbym jeździ 

e Do przykładów tego pojęcia zaliczmy samochody {2,3,6,9}. 

e Kontrprzykładami, czyli przykładami negatywnymi tego 
pojęcia, są samochody £1,4,5,7,8). 

e Wspolne właściwości definiujące pojęcie: 

(zużycie=średni)a((cena=akceptowalna)v(prędkość=szybki)) 

e Definicja znana „nauczycielowi — niedostępna jawnie 
systemowi uczącemu się. 


e Cel: system w trakcie procesu uczenia się ma odkryć / 
znaleźć nieznaną mu definicję pojęcia na podstawie 
dostarczonych przykładów problemów kontrprzykładów 
tego pojęcia 


e Przestrzen wersji (CEA) — Algorytm 
eliminacji kandydatów 


Przykład pojęcia „EnjoySport” 


e Specyfikacja problemu 

* Przykłady X opisane 6 atrybutami: Sky, Temp, Humidity, Wind, Water, Forecast 
e Pojęcia binarne c: EnjoySport : X > {0,1) // no, yes 
e Hipoteza ucznia: Koniunkcja wyrażeń elementarnych 


* Sky AirTemp Humidity Wind Water Forecast 
<Sunny ? ? Strong ? Same> 


e Ograniczenia: konkretna wartość (Water = Warm); don't care (“Water = ?”) 
oraz wartość niedozwolona ,,@”. 


Example Sky Air Humidity Water Forecast Enjoy 


Temp Sport 
Sunny Warm Normal Strong Warm Same Yes 
Sunny Warm High Strong Warm Same Yes 
Rainy Cold High Strong Warm Change No 


3 Sunny _Warm High Strong Cool Change Yes 


Na © 


Concept Learning and Version Spaces 


Concept Learning as Search through H 


« Hypothesis space H as a state space 
* Learning: finding the correct hypothesis 
e General-to-Specific Ordering over H 
æ Partially-ordered set: Less-Specific-Than (More-General-Than) relation 
* Upper and lower bounds in H 
e Version Space Candidate Elimination Algorithm 
* Sand G boundaries characterize learner's uncertainty 
* Version space can be used to make predictions over unseen cases 


e Learner Can Generate Useful Queries 


e Inne zagadnienia? 


Przykłady, hipotezy i ich uporządkowanie 


Less-Specitic- Than 
Przyktady X 


X, = <Sunny, Warm, High, Strong, Cool, Same> 
X, = <Sunny, Warm, High, Light, Warm, Same> 


<p = Less-Specific-Than = More-General-Than 


Hipotezy H 


Specific 


General 


h,= <Sunny, ?, ?, Strong, ?, ?> 
h,= <Sunny, ?, ?, ?, ?, ?> 
h,= <Sunny, ?, ?, ?, Cool, ?> 


<h, 
< h, 


2-P 


N 


h 
h 


Version Spaces — przestrzen wersji 


Definicja: Spdjna hipoteza 
* Hipoteza h jest spójna ze zbiorem uczącym D pewnego pojęcia c iff h(x) = c(x) 
dla każdego przykładu uczącego <x, c(x)> w D. 


* Consistent (h, D)= V <x, c(x)> € D . h(x) = c(x) 
Definicja: Przestrzeń wersji 


æ Przestrzeń wersji VS„ p, ze względu na przestrzeń hipotez H i zbiór uczący D, 
jest podzbiorem przestrzeni hipotez H spójnych ze wszystkim przykładami 
uczącymi D. 


* VS,p=th €H | Consistent (h, D) ) 
Def: General Boundary 
* General boundary G of version space VS: set of most general members 
* Most general = minimal elements of VS, p= “set of necessary conditions” 
Def: Specific Boundary 
* Specific boundary S of version space VS;,p: set of most specific members 


* Most specific = maximal elements of VS,, p = “set of sufficient conditions” 


The List-Then-Eliminate Algorithm 


1. Initialization: VersionSpace < a list containing every hypothesis in H 


2. For each training example <x, c(x)> 


Remove from VersionSpace any hypothesis h for which h(x) £ c(x) 


3. Output the list of hypotheses in VersionSpace 


- |<Sunny, Warm, ?, Strong, ?, ?> 


<Sunny, ?, ?, Strong, ?, ?> <Sunny, Warm, ?, ?, ?, ?> <?, Warm, ?, Strong, ?, ?> 


Example Version Space 


Algorytm CEA 


e inicjalizuj S i G odpowiednio jako zbiory 
maksymalnie szczegółowych I maksymalnie 
ogólnych hipotez w H; 

e dla każdego przykładu x wykonaj 
w jeśli x jest przykładem negatywnym (c(x)=0) to 


pozostaw w S tylko hipotezy, które nie pokrywają x; 

każdą hipotezę g w G, która pokrywa x, zastąp hipotezami bardziej 
szczegółowymi które nie pokrywają x tak, aby każda z nich pozostała 
tak samo lub bardziej ogólna niż pewna hipoteza z S; 

usuń z G każdą hipotezę bardziej szczegółową niż jakakolwiek inna 
hipoteza z G; 


æ jeśli x jest przykładem pozytywnym (c(x)=1) to 


pozostaw w G tylko hipotezy, które pokrywają x; 

każdą hipotezę s w S, która nie pokrywa x, zastąp hipotezami 
bardziej ogólnymi które pokrywają x tak, aby każda z nich pozostała 
tak samo lub bardziej szczegółowa niż pewna hipoteza z G; 

usuń z S każdą hipotezę bardziej ogólną niż jakakolwiek inna 
hipoteza z S. 


Przyktad ilustracyjny 


S,| <Ø, Ø, Ø, Ø, Ø, Ø> 


Sa Sun Mam tomna, Sona Mam SAMO? | ( a arany, Cola, Hah Strong, Warm, change, No” 


S, = S, <Sunny, Warm, ?, Strong, Warm, Same> 


S, <Sunny, Warm, ?, Strong, ?, ?> 


cans | REM 


<Sunny, ?, ?, Strong, ?, ?>  <Sunny, Warm, ?, ?, ?, ?> 


<?, Warm, ?, Strong, ?, ?> 


Jaki powinien byc kolejny przyktad? 


- |<Sunny, Warm, ?, Strong, ?, ?> 


<Sunny, ?, ?, Strong, ?, ?> <Sunny, Warm, ?, ?, ?, ?> <?, Warm, ?, Strong, ?, ?> 


e Jakie pytanie może zadać nauczycielowi system uczący sie? 


e Jak sklasyfikować następujące przykłady? 
* <Sunny, Warm, Normal, Strong, Cool, Change> 
w <Rainy, Cold, Normal, Light, Warm, Same> 


* <Sunny, Warm, Normal, Light, Warm, Same> 


Wybrane zastosowania ML 


Liczne zastosowania medyczne (diagnozowanie 
chorób, dobór terapii, analiza danych 
laboratoryjnych I diagnostycznych), farmacja, 
biologia, genetyka (DNA) 

Dużo zastosowań w przemyśle maszynowym, 
chemicznym, telekomunikacyjnym i finansach 
Systemy sterowania, automatyka, robotyka 
Eksploracja baz danych, e-commerce, 
Web-mining 

Zastosowania naukowe, np. katalogowanie 
obiektów astronomicznych, odkrywanie praw 


Analiza i rozpoznawanie obrazów, mowy I pisma 


oystemy uczace sie 
Podsumowanie 


e Aktualny stan 

« wiele różnych metod 

« stosowane do dobrze zdefiniowanych baz 
danych 

* większość zastosowań dotyczy problemów 
uczenia nadzorowanego 

* „proste strategie uczenia nie wykorzystujące 
wiedzy „wyższego poziomu” 


Systemy uczące sie - Podsumowanie 


Przyszłość ? 
« odkrywanie wiedzy z różnego rodzaju danych 
« złożone systemy uczące się 
« statystyczna interpretacja teorii uczenia się. 


* uczenie „dojrzałe ; intensywniejsze 
wykorzystanie wiedzy dziedzinowej 


« zastosowania do złożonych problemów 


* oprogramowanie z wbudowanymi 
zdolnościami samoadaptacji ? 


Gdzie szukac dalej ? 
Ksiazki 
P.Cichosz: Systemy uczace sie. 
K.Krawiec, J.Stefanowski: Uczenia 
maszynowe | sieci neuronowe. 
W. Duch I in. (red.): Sieci neuronowe. 
T.Mitchell: Machine learning. 
Internet 


www.cs.put.poznan.pl/jstefanowski/mlteaching.html 
www.phys.uni.torun.pl/~duch/ai-ml.html 


www.aic.nrl.navy.mil/~aha/research/machine- 
learning.html 


Dziękuję za uwagę ! 


e-mail: Jerzy.Stefanowski@cs.put.poznan.pl 


